Quality of the documentation of the Nursing process in clinical decision support systems / Qualidade da documentação do processo de enfermagem em sistemas de apoio à decisão clínica / Calidad de la documentación del proceso de Enfermería en sistemas de apoyo a la decisión clínica

Objective: to compare the quality of the Nursing process documentation in two versions of a clinical decision support system. Method: a quantitative and quasi-experimental study of the before-and-after type. The instrument used to measure the quality of the records was the Brazilian version of the Quality of Diagnoses, Interventions and Outcomes, which has four domains and a maximum score of 58 points. A total of 81 records were evaluated in version I (pre-intervention), as well as 58 records in version II (post-intervention), and the scores obtained in the two applications were compared. The interventions consisted of planning, pilot implementation of version II of the system, training and monitoring of users. The data were analyzed in the R software, using descriptive and inferential statistics. Results: the mean obtained at the pre-intervention moment was 38.24 and, after the intervention, 46.35 points. There was evidence of statistical difference between the means of the pre- and post-intervention groups, since the p-value was below 0.001 in the four domains evaluated. Conclusion: the quality of the documentation of the Nursing process in version II of the system was superior to version I. The efficacy of the system and the effectiveness of the interventions were verified. This study can contribute to the quality of documentation, care management, visibility of nursing actions and patient safety.

Objetivo: comparar a qualidade da documentação do processo de enfermagem em duas versões de um sistema de apoio à decisão clínica. Método: estudo quantitativo, quase-experimental do tipo antes e depois. O instrumento utilizado para mensurar a qualidade dos registros foi o Quality of Diagnoses, Interventions and Outcomes Versão Brasileira, que possui quatro domínios e escore máximo de 58 pontos. Foram avaliados 81 registros na versão I (pré-intervenção), 58 registros da versão II (pós-intervenção) e comparados os escores obtidos nas duas aplicações. As intervenções consistiram em planejamento, implantação piloto da versão II do sistema, treinamento e acompanhamento dos usuários. Os dados foram analisados no software R, utilizando-se estatística descritiva e inferencial. Resultados: a média obtida na pré-intervenção foi de 38,24 e pós-intervenção, 46,35 pontos. Houve evidências de diferença estatística entre as médias dos grupos pré e pós-intervenção, visto que o valor-p foi menor que 0,001 nos quatro domínios avaliados. Conclusão: a qualidade da documentação do processo de enfermagem na versão II do sistema foi superior à versão I. A eficácia do sistema e a efetividade das intervenções foram comprovadas. Este estudo pode contribuir para a qualidade da documentação, gerenciamento do cuidado, visibilidade das ações de enfermagem e segurança do paciente.

Objetivo: comparar la calidad de la documentación del proceso de Enfermería en dos versiones de un sistema de apoyo a la decisión clínica. Método: estudio cuantitativo y cuasi-experimental del tipo antes y después. El instrumento que se usó para medir la calidad de los registros fue la versión brasileña del Quality of Diagnoses, Interventions and Outcomes, que contiene cuatro dominios y puntaje máximo de 58 puntos. Se evaluaron 81 registros en la versión I (pre-intervención), 58 registros de la versión II (post-intervención) y se compararon las puntuaciones logradas en las dos aplicaciones. Las intervenciones consistieron en planificar, implementar de forma piloto la versión II del sistema, entrenar y realizar un seguimiento a los usuarios. Los datos se analizaron en el software R, utilizando estadística descriptiva e inferencial. Resultados: el promedio obtenido en el momento pre-intervención fue de 38,24 y en la post-intervención fue de 46,35 puntos. Se registraron evidencias de diferencia estadística entre los promedios de los grupos pre- y post-intervención, visto que el valor-p fue menor que 0,001 en los cuatro dominios evaluados. Conclusión: la calidad de la documentación del proceso de Enfermería en la versión II del sistema fue superior a la versión I. Se comprobó la eficacia del sistema y la efectividad de las intervenciones. Este estudio pudo contribuir para la calidad de la documentación, gerenciamiento de la atención, visibilidad de las acciones de Enfermería y seguridad del paciente.

Avaliação de usabilidade de sistema de apoio à decisão clínica do processo de enfermagem / Usability Evaluation Nursing Process-Clinical Decision Support System

Introdução: A maioria dos países do mundo está implantando o Registro Eletrônico em Saúde como uma das iniciativas mais importantes em sua política de assistência à saúde, na perspectiva de obter atendimento seguro e de qualidade. No entanto, problemas de usabilidade podem afetar a eficácia, a eficiência e a satisfação do usuário. Objetivo: avaliar a usabilidade de um Sistema de Apoio à Decisão Clínica para documentar o Processo de Enfermagem. Método: estudo quantitativo, desenvolvido em três etapas. A primeira etapa configurou o delineamento quase- experimental, do tipo antes de depois, comparando a qualidade de 81 registros de enfermagem da Versão I do sistema (pré-intervenção) com 58 registros da versão II (pós-intervenção). O instrumento utilizado foi o Quality of Diagnoses, Interventions and Outcomes Q-DIO Versão Brasileira, que possui quatro domínios e escore máximo de 58 pontos. As intervenções consistiram em planejamento e implantação piloto da versão II do sistema, treinamento e acompanhamento dos usuários. A segunda etapa correspondeu à avaliação da eficiência por meio da mensuração do tempo despendido pelo enfermeiro para documentar a Avaliação de Enfermagem e à correlação com os itens da avaliação. Na terceira etapa, foi medida a satisfação dos usuários na utilização da versão II do sistema por meio do questionário Software Usability Measurement Inventory SUMI, cujas escalas possuem escores padronizados com referência a uma média populacional de 50 pontos. Os escores das escalas SUMI foram computados e analisados no software SUMISCO. Os demais dados foram analisados no software R, utilizando estatística descritiva e inferencial. A coleta de dados das três etapas ocorreu entre janeiro de 2019 e janeiro de 2020. Resultados: A média obtida na aplicação do Q-DIO foi 38,24 pontos na versão I e 46,35 pontos na versão II. Houve evidências de diferença estatística entre as médias dos grupos pré e pós-intervenção (valor-p menor que 0,001) e diminuição dos itens não documentados nos quatro domínios avaliados. O tempo médio despendido pelo enfermeiro para documentar a Avaliação de Enfermagem foi de 12,5 minutos, desvio padrão de 11,2 minutos e mediana de 8,9 minutos. A média dos enfermeiros nas escalas SUMI foram: Eficiência 59,58, Satisfação 56,83, Utilidade 55,92, Controle 44,80, Aprendizagem 55,75 e Usabilidade Global 56,00. A média dos técnicos de enfermagem foram: Eficiência 60,42, Satisfação 62,58, Utilidade 60,84, Controle 54,47, Aprendizagem 65,79 e Usabilidade Global 60,68. Conclusões: a qualidade da documentação na versão II do sistema foi superior à versão I. A eficácia do sistema para documentar o Processo de Enfermagem e a efetividade das intervenções foram comprovadas. A avaliação da eficiência identificou o tempo despendido para documentar a Avaliação de Enfermagem. A média na maioria das escalas SUMI ficaram acima do banco de dados de referência internacional, exceto na escala Controle que ficou abaixo do valor médio na avaliação dos enfermeiros. Apontados problemas de usabilidade que podem impactar negativamente na experiência do usuário. Este estudo contribui para a prática clínica, auditoria de qualidade da documentação, visibilidade da enfermagem enquanto ciência do cuidado, desenvolvimento e implementação de sistemas de apoio à decisão clínica funcionais, interativos e amigáveis.

Introduction: most countries in the world have been implementing the Electronic Health Record as one of the most important initiatives of their health care policy, with a view to obtaining safe and quality care. However, usability issues can affect the effectiveness, efficiency and users satisfaction. Objectives: assessing the usability of a Clinical Decision Support System used for Nursing Process documentation purposes. Method: quantitative study developed in three stages. The first stage comprised the adoption of a quasi-experimental design (of the before and after type) comparing the quality of 81 nursing records of Version I of the system (pre-intervention) with 58 records of version II (post-intervention). The instrument used was the Quality of Diagnoses, Interventions and Outcomes - Q-DIO Brazilian Version, which has four domains and a maximum score of 58 points. The interventions consisted of planning and pilot implementing the system version II, users training and monitoring. The second stage comprised efficiency analysis based on the time spent by nurse to document the Nursing Assessment and the correlation with the assessment items. The third stage referred to users satisfaction assessment based on the Software Usability Measurement Inventory - SUMI questionnaire, whose scales have standardized scores with reference to a population average of 50 points. The scores of the SUMI scales were computed and analyzed using the SUMISCO software. The other data were analyzed using R software, and descriptive and inferential statistics. Data collection for the three stages took place between January 2019 and January 2020. Results: The average Q-DIO scores reached 38.24 points (in version I) and 46.35 points (in version II). There was evidence of statistical difference between the means of the pre and post- intervention groups (p-value less than 0.001) and a decrease in the undocumented items in the four domains evaluated. The mean time spent by nurse to document the assessment in the system was 12.5 minutes (standard deviation = 11.2 minutes and median = 8.9 minutes). Nurses recorded the following averages: Global Usability (56.00), Efficiency (59.58), Affect (56.83), Helpfulness (55.92), Control (44.80) and Learnability (55.75). Nursing technicians recorded the following averages: Global Usability (60.68), Efficiency (60.42), Affect (62.58), Helpfulness (60.84), Control (54.47) and Learnability (65.79). Conclusion: the quality of the documentation in version II of the system was superior to version I. The effective of the system to document the Nursing Process and the effectiveness of interventions were proven. The efficiency analysis identified the time spent to document the Nursing Assessment. The average recorded in most SUMI scales was higher than that of the international reference database, except for the Control scale, which recorded below-the-average value in the nurses evaluation. Usability issues pointed out may negatively affect the user experience. This study contributes to clinical practice, documentation quality audit, visibility of nursing as a science of care, development and implementation of functional, interactive and friendly support systems for clinical decision.

Evaluation of the functional performance and technical quality of an Electronic Documentation System of the Nursing Process / Avaliação do desempenho funcional e qualidade técnica de um Sistema de Documentação Eletrônica do Processo de Enfermagem / Evaluación del desempeño funcional y calidad técnica de un Sistema de Documentación Electrónica del Proceso de Enfermería

Objective: To evaluate the functional performance and the technical quality of the Electronic Documentation System of the Nursing Process of the Teaching Hospital of the University of São Paulo. Method: exploratory-descriptive study. The Quality Model of regulatory standard 25010 and the Evaluation Process defined under regulatory standard 25040, both of the International Organization for Standardization/International Electrotechnical Commission. The quality characteristics evaluated were: functional suitability, reliability, usability, performance efficiency, compatibility, security, maintainability and portability. The sample was made up of 37 evaluators. Results: in the evaluation of the specialists in information technology, only the characteristic of usability obtained a rate of positive responses of less than 70%. For the nurse lecturers, all the quality characteristics obtained a rate of positive responses of over 70%. The staff nurses of the medical and surgical clinics with experience in using the system) and staff nurses from other units of the hospital and from other health institutions (without experience in using the system) obtained rates of positive responses of more than 70% referent to the functional suitability, usability, and security. However, performance efficiency, reliability and compatibility all obtained rates below the parameter established. Conclusion: the software achieved rates of positive responses of over 70% for the majority of the quality characteristics evaluated. .

Objetivo: avaliar o desempenho funcional e a qualidade técnica do Sistema de Documentação Eletrônica do Processo de Enfermagem do Hospital Universitário da Universidade de São Paulo. Método: estudo exploratório-descritivo. Utilizou-se o Modelo de Qualidade da norma 25010 e o Processo de Avaliação definido na norma 25040, ambas da International Organization for Standardization/International Electrotechnical Commission (Organização Internacional para Padronização/Comissão Eletrotécnica Internacional). As características de qualidade avaliadas foram: adequação funcional, confiabilidade, usabilidade, eficiência de desempenho, compatibilidade, segurança, manutenibilidade e portabilidade. A amostra foi constituída por 37 avaliadores. Resultados: na avaliação dos especialistas em informática, apenas a característica usabilidade obteve menos de 70% de respostas positivas. Para os enfermeiros docentes, todas as características de qualidade obtiveram acima de 70% de respostas positivas. Os enfermeiros assistenciais das clínicas médica e cirúrgica (com experiência no uso do sistema) e enfermeiros assistenciais de outras unidades do hospital e de outras instituições de saúde (sem experiência no uso do sistema) obtiveram mais de 70% de respostas positivas referentes à adequação funcional, usabilidade e segurança. Entretanto, eficiência de desempenho, confiabilidade e compatibilidade obtiveram índices abaixo do parâmetro estabelecido. Conclusão: o software atingiu mais de 70% de respostas positivas na maioria das características de qualidade avaliadas. .

Objetivo: evaluar el desempeño funcional y la calidad técnica del Sistema de Documentación Electrónica del Proceso de Enfermería del Hospital Universitario de la Universidad de Sao Paulo. Método: estudio exploratorio descriptivo. Se utilizó el Modelo de Calidad de la norma 25010 y el Proceso de Evaluación definido en la norma 25040, ambas de la International Organization for Standardization/International Electrotechnical Commission (Organización Internacional para Estandarización/Comisión Electrotécnica Internacional). Las características de calidad evaluadas fueron: adecuación funcional, confiabilidad, usabilidad, eficiencia de desempeño, compatibilidad, seguridad, facilidad de mantenimiento y portabilidad. La muestra fue constituida por 37 evaluadores. Resultados: en la evaluación de los especialistas en informática, apenas la característica usabilidad obtuvo menos de 70% de respuestas positivas. Para los enfermeros docentes, todas las características de calidad obtuvieron arriba de 70% de respuestas positivas. Los enfermeros asistenciales de las clínicas médica y quirúrgica (con experiencia en el uso del sistema) y enfermeros asistenciales de otras unidades del hospital y de otras instituciones de salud (sin experiencia en el uso del sistema) obtuvieron más de 70% de respuestas positivas referentes a la adecuación funcional, usabilidad y seguridad. Entre tanto, la eficiencia de desempeño, la confiabilidad y la compatibilidad obtuvieron índices abajo del parámetro establecido. Conclusión: el software alcanzó más de 70% de respuestas positivas en la mayoría de las características de calidad evaluadas. .

Avaliação de qualidade do registro eletrônico do processo de enfermagem / Quality evaluation of electronic record of the nursing process

Este estudo exploratório-descritivo tem como objetivo avaliar o desempenho funcional e a qualidade técnica de um registro eletrônico do processo de enfermagem junto a especialistas em informática, enfermeiros docentes e enfermeiros assistenciais. O Hospital Universitário da Universidade de São Paulo em parceria com a Escola de Enfermagem da Universidade de São Paulo, desenvolveu um registro eletrônico denominado Sistema de Documentação Eletrônica do Processo de Enfermagem da Universidade de São Paulo (PROCEnfUSP), para que pudesse ser utilizado na automação das informações do Processo de Enfermagem, visando à adoção de um Sistema de Apoio à Decisão que pudesse contribuir para a melhoria da gestão, da qualidade da assistência e da satisfação dos pacientes. A garantia da qualidade desse sistema é um importante desafio e meta devido à responsabilidade com os usuários e pacientes. Para assegurar essa qualidade foi realizada uma avaliação do sistema PROCEnf-USP utilizando-se do Modelo de Qualidade proposto pela norma ISO/IEC 25010 e do Processo de Avaliação definido na norma ISO/IEC 25040. Na avaliação dos especialistas em informática, adequação funcional obteve 91% de respostas positivas, confiabilidade 76%, usabilidade 62%, eficiência de desempenho 84%, compatibilidade 86%, segurança 89%, manutenibilidade 93% e portabilidade 92%.Os enfermeiros docentes avaliaram positivamente todas as características, adequação funcional obteve 92%, confiabilidade 89%, usabilidade 84%, eficiência de desempenho 81%, compatibilidade 75% e segurança 100%. Os enfermeiros assistenciais das clínicas médica e cirúrgica do hospital avaliaram adequação funcional com 82% de respostas positivas, confiabilidade 69%, usabilidade 85%, eficiência de desempenho 47% compatibilidade 62% e segurança 98%. Os enfermeiros assistenciais de outras unidades avaliaram adequação funcional com 88%, confiabilidade 61%, usabilidade 80%, eficiência de desempenho 46%, compatibilidade 69% e segurança 100%. Conclui-se que o PROCEnf-USP atingiu mais de 70% de respostas positivas na maioria das características de qualidade avaliadas por todos os especialistas. Entretanto, eficiência de desempenho, confiabilidade e compatibilidade obtiveram índices abaixo do parâmetro estabelecido na avaliação dos enfermeiros assistenciais. Os resultados obtidos neste estudo serão utilizados para a realização de melhorias no sistema. Essa pesquisa propiciará a disseminação do conhecimento de uma área emergente, agregando mais uma iniciativa aos crescentes esforços na área de informática em saúde e em enfermagem.

This descriptive exploratory study aims to evaluate functional performance and technical quality of an electronic record for the nursing process with technology experts, teaching staff and nurses. The University Hospital in the University of São Paulo in partnership with the School of Nursing of the University of São Paulo, has developed an electronic record called Electronic Documentation System for the Nursing Process of the University of São Paulo (PROCEnf-USP), to be used for the automation of information of the Nursing Process, aimed at the adoption of a Decision Support System that could contribute to the improvement of management, quality of care and patient satisfaction. The quality guarantee of this system is an important challenge and target, due to responsibility with users and patients. To ensure such quality an assessment of the PROCEnf-USP system was carried out using the Quality Model proposed by ISO/IEC 25010 and the Evaluation Process defined in ISO/IEC 25040. In the evaluation of technology experts the characteristic functional suitability had 91% of positive responses, reliability 76%, usability 62%, performance efficiency 84%, compatibility 86%, security 89%, maintainability 93% and portability 92%.The teaching staff positively evaluated all the characteristics, functional suitability had 92%, reliability 89%, usability 84%, performance efficiency 81%, compatibility 75% and security 100%. The nurses from general medical and surgical hospital evaluated functional suitability with 82% of positive responses, reliability 69%, usability 85%, performance efficiency 47%, compatibility 62% and security 98%. The nurses from other units evaluated functional suitability with 88%, reliability 61%, usability 80%, performance efficiency 46%, compatibility 69% and security 100%. It is concluded that the PROCEnf-USP reached more than 70% of positive responses in the majority of quality characteristics evaluated by specialists. However, performance efficiency, reliability and compatibility found rates below the parameter established in the assessment of nurses. The results of this survey will be used to implement improvements in the system. Such research will allow the spreading of knowledge in an emerging area, thus adding a further initiative to the growth efforts made in the information technology areas of health and nursing.